Def Jam được thành lập bởi Rick Rubin tại phòng ký túc xá của anh tại đại học New York University[1] và sản phẩm đầu tiên của hãng đĩa này là một đĩa đơn của ban nhạc Hose mà anh là một thành viên. Russell Simmons nhanh chóng tham gia cùng với Rubin sau khi Jazzy Jay giới thiệu cả hai người với nhau. Đĩa đơn đầu tiên được phát hành dưới mác Def Jam Recordings là "It's Yours" của T La Rock & Jazzy Jay. Sản phẩm đầu tiên được phát hành với mã số catalog của Def Jam Recordings là "I Need a Beat" của LL Cool J và "Rock Hard" của Beastie Boys, cả hai đều vào năm 1984.